지구상의 모든 책을 읽은 명망 있는 학자라도 거래소나 병원에 발을 들인 적이 없다면 어떻게 될까? 그는 넓은 범위의 추론 능력을 갖추고 있지만, 분야 특화 논리 고위험 결정을 내리기 위해 필요한 것이 부족하다. 이것이 기본적인 대규모 언어 모델(LLM)이 직면한 과제이다.

전문가가 되는 길

• 전이 학습 및 적응: 우리는 일반적인 능력을 버리지 않고, 그 위에 기반을 둡니다. 도메인 적응은 모델의 잠재 공간을 재조정하여 새로운 의미적 경계를 인식하도록 하는 구체적인 적용입니다.
• 계속된 사전 훈련: 처음부터 시작하는 대신, 특정 코퍼스(예: 미국 증권거래위원회의 공시서류 등)에서 추가적인 자기지도 학습을 수행합니다. 이를 통해 모델의 어휘에 대한 내부 확률 분포가 업데이트됩니다.
• 중간 작업 훈련: 이 다리는 최종 목표에 대한 최종 조정 전에 모델에게 해당 분야의 '논리'—예를 들어 금융 추론이나 법적 분석—을 가르칩니다.